input_tokens=$1
output_tokens=$2
num_prompts=$3
python3 benchmark_serving_tokens.py \
--host 0.0.0.0 \
--port 8000 \
--model  /share/fshare/common/models/deepseek-ai/DeepSeek-R1-awq \
--num-prompts $num_prompts \
--input-tokens $input_tokens \
--output-tokens $output_tokens 